Xưa đây nguyên là phần đất thuộc nội thành của kinh thành Thăng Long cũ, nguyên là địa phận của ba thôn Ngự Sử, Thanh Ngô, Minh Triết, tổng Hữu Nghiêm, huyện Thọ Xương thời nhà Nguyễn (Đến giữa thế kỉ XIX, thôn Ngự Sử hợp nhất với thôn Lương Sừ, thành thôn Lương Sử, và tổng Hữu Nghiêm đổi tên là tổng Yên Hòa).

Cuối thế kỷ XVIII đến thời Vua Tự Đức thế kỷ XIX xung quanh Văn Miếu - Quốc Tử Giám có khá nhiều trường học. Sở dĩ khu vực này nhiều trường học vì Văn Miếu là nơi thờ Khổng Tử, còn Quốc Tử Giám, trường học lớn và uy tín bậc nhất thời đó, thường xuyên tổ chức các buổi bình văn, thuận tiện cho học trò đến nghe. Học trò các tỉnh về theo học rất đông, vì thế dân các làng: Ngự Sử, Lương Sừ (nay là ngõ Lương Sử A, phố Quốc Tử Giám), Tả Biên Giám (nay thuộc phố Văn Miếu), làng Cổ Thành (nay là phố Phan Phù Tiên)… đã mở nhà trọ cho học trò thuê. Họ dựng các dãy nhà lá, chia thành từng gian nhỏ, mỗi dãy có vại nước mưa để uống và đun nước pha chè; tắm rửa thì khách trọ phải ra ao làng.

Những năm triều đình mở khoa thi thì sĩ tử thập phương đến trọ đông gấp bội. Có trò mang gạo củi tự nấu nướng (vì thế có câu "cơm niêu nước lọ"), trò con nhà khá giả thì ăn cơm hàng. Để phục vụ cho loại học trò này, các bà, các cô có nghề bán cơm ở làng Tương Mai đến Tả Biên Giám thuê nhà mở quán bán cơm nên dân Thăng Long gọi là phố Hàng Cơm (nay là đoạn cuối phố Văn Miếu nơi tạo ngã ba với phố Quốc Tử Giám)

Cũng vào khoảng thời điểm đó, lúc này người ta quen gọi chung khu vực đằng sau phố Sinh Từ (Nguyễn Khuyến) là khu Hàng Đũa. Gọi thế là vì vào thời kỳ này (cuối thế kỷ XIX) dân cư ở xung quanh là 2 làng Ngự Sử và Lương Sừ có nghề vót đũa tre, vót tăm, bó chổi tre, nguyên liệu là tre cây mua ở mấy làng lân cận, tre ngâm ở dưới hồ ao chằng chịt ở vùng này. Đũa tre để mộc, đũa tre sơn son, sơn then, đầu sơn vàng hoặc đỏ, bán buôn cho các cửa hàng trên phố hoặc các quầy trong chợ. Tự nhiên hình thành thêm một phố nghề nữa đó là làm Đũa. Về sau nghề làm đũa không còn tượng trưng cho khu cư dân này nhưng nó vẫn mang tên Hàng Đũa (Nay thuộc Phố Ngô Sĩ Liên tức làng Ngự Sử thời Nguyễn khi xưa). Làng Lương Sử ngày nay chia thành 2 con phố là phố Quốc Tử Giám và phố Ngô Sĩ Liên.

Do vậy trước khi có tên là Phố Quốc Tử Giám như ngày nay thì thời xưa khu phố này cũng được gắn liền với hai con phố đã mất tên thuộc khu phố cổ Hà Nội là Hàng Cơm và Hàng Đũa.

Có khá nhiều ảnh chụp TONKIN - Hanoi - "Pagode de la littérature" phía cổng chính di tích Văn Miếu - Quốc Tử Giám vào thời điểm đầu thế kỷ XX, người Pháp họ đánh tên con phố này thuộc vào địa phận của khu phố Sinh Từ "route de Sinh-Tu" (Nguyễn Khuyến ngày nay).

Cũng có nhiều ảnh chụp vào đầu thế kỷ XX, phố Quốc Tử Giám phía mặt đường đối diện cổng tứ trụ lúc này đã được quy hoạch phố xá rõ ràng, có hệ thống đèn đường, lát đá bằng phẳng và đông người dân qua lại.

Thời Pháp thuộc, phố có tên là đường 238 (voie 238). Sau Cách mạng tháng Tám năm 1945, phố đã được đổi tên thành phố Quốc Tử Giám. Ngày nay, phố Quốc Tử Giám thuộc các phường Văn Chương, Văn Miếu, Quốc Tử Giám, quận Đống Đa, Hà Nội. Nơi đây có liên quan với nhiều nhân vật nổi tiếng.